Stellar: Scalable Multimodal Document Retrieval for Natural Language Queries
Stellar：面向自然语言查询的可扩展多模态文档检索
🧭 多模态检索 · 高效延迟交互
通过词法过滤与磁盘驻留延迟交互，将多模态检索的内存和延迟降低1-2个数量级且效果不降。
📌 工作参考价值（4 点）
- 词法表示过滤（LRF）：微调多模态大模型作为稀疏编码器生成高质量词法表示，可用于商品搜索的第一阶段候选过滤，大幅减少需深度计算的候选集。
- 磁盘支持的延迟交互（DLI）：将商品/文档的多向量 token 级 embedding 存于磁盘，按需动态加载，可有效降低内存占用，适合百亿级商品索引。
- 平衡聚类的存储布局：根据负载模式设计磁盘存储结构，可借鉴到推荐模型的大规模稀疏特征存储，减少随机 I/O。
- 成本模型驱动加载：通过简单代价模型选择必要的 token embedding 参与最终评分，在实时推荐中可用于选择性计算用户与物品的细粒度交互特征。